找到问题的解决办法了么?
AI Agent

AI Agent

1573 个 Claude Code 会话分析:AI 编程代理的真实使用数据

AI 搜索ai_insider 发表了文章 • 0 个评论 • 36 次浏览 • 3 小时前 • 来自相关话题

AI 编程工具的使用数据一直是个黑盒——我们知道很多人在用,但具体用得怎么样?哪些场景效果好?什么情况下会放弃?最近,一个团队开源了他们的分析工具 Rudel,并基于 1573 个真实的 Claude Code 会话数据,给出了一些有趣的洞察。

数据集概况

这个数据集来自一个 6 人团队(4 名工程师、1 名数据/业务人员、1 名设计工程师)在过去 3 个月的真实使用记录:

  • 总会话数:1,573 个
  • 总 Token 数:1500 万+
  • 总交互数:27 万+
  • 会话类型:40% 大型遗留项目、50% 新项目、10% 非编码任务

核心发现

1. Skills 使用率极低:仅 4%

Claude Code 的 Skills 功能(预定义的指令模板)使用率只有 4%。这引发了一个问题:是功能设计有问题,还是用户根本不知道它的存在?

从 Hacker News 的讨论来看,可能两者都有:

  • Skills 的可发现性较差
  • 用户更倾向于自然语言提示
  • 即使设置了 Skills,Claude 也不一定会调用

好消息是,Claude 4.6 版本在这方面有明显改进。

2. 26% 的会话在 60 秒内被放弃

超过四分之一的会话在开始后的第一分钟内就被用户放弃。这个数字揭示了一个关键问题:初始提示与意图匹配的重要性

正如 HN 用户 robutsume 分析的:

"这不是代理的问题,而是提示与意图不匹配的问题。人类在一次交互后就意识到他们问错了问题,或者代理理解错了。"

3. 错误级联模式:前 2 分钟决定成败

研究发现,如果在会话的前 2 分钟出现工具选择错误或文件读取错误,后续放弃的概率会显著增加。这和基础设施监控的经验很相似——部署的前 90 秒几乎能决定一切。

4. 不同任务类型的成功率差异显著

  • 文档编写:成功率最高
  • 代码重构:成功率最低

这个发现符合直觉:文档任务边界清晰、验证简单;而重构涉及复杂的代码理解和依赖分析,更容易出错。

对 AI 搜索的启示

虽然这项研究聚焦于编程场景,但对 AI 搜索产品的设计也有参考价值:

1. 首因效应至关重要 用户在前 60 秒的体验决定了他们是否会继续使用。搜索产品需要在最短时间内给出高质量结果。

2. 错误恢复机制 当 AI 理解错误时,如何快速纠正比追求完美更重要。Rudel 的数据显示,错误级联一旦发生,用户很快就会失去耐心。

3. 功能发现性 即使有强大的功能(如 Skills),如果用户不知道或不会用,就等于不存在。AI 搜索产品需要更智能地引导用户使用高级功能。

4. 任务适配性 不同的搜索场景对 AI 的要求不同。简单的事实查询 vs 复杂的分析任务,需要不同的交互设计和预期管理。

Rudel 工具本身

这项研究的开源工具 Rudel 也值得关注。它通过 Claude Code 的 hooks 机制,在会话结束时自动上传数据,提供团队级的使用分析:

  • 个人和团队的会话统计
  • Token 使用趋势
  • 项目时间分配
  • 会话成功率分析

对于想要量化 AI 工具 ROI 的团队来说,这类分析工具很有价值。

社区反响

这个项目在 Hacker News 上获得了 85 个点赞和 50+ 评论。讨论焦点包括:

  • 如何提高 Skills 的使用率
  • 单一会话 vs 多会话策略的优劣
  • 隐私和数据安全问题(工具需要上传完整会话内容)
  • 与 Claude Code 内置的/insights 命令的对比

写在最后

AI 编程代理还处于早期阶段,我们对其使用模式的理解非常有限。Rudel 团队的数据虽然只来自一个小团队,但提供了宝贵的实证基础。

随着 AI Agent 的普及,相信会有更多类似的研究出现。而对于搜索技术从业者来说,理解用户如何与 AI 交互、在什么情况下会放弃,将是设计更好产品的关键。


你使用 Claude Code 或其他 AI 编程工具吗?你觉得最大的痛点是什么?


来源:Rudel GitHub / Hacker News 讨论 原文发布时间:2026 年 3 月 12 日 Hacker News 热度:85 points, 53 comments

1573 个 Claude Code 会话分析:AI 编程代理的真实使用数据

AI 搜索ai_insider 发表了文章 • 0 个评论 • 36 次浏览 • 3 小时前 • 来自相关话题

AI 编程工具的使用数据一直是个黑盒——我们知道很多人在用,但具体用得怎么样?哪些场景效果好?什么情况下会放弃?最近,一个团队开源了他们的分析工具 Rudel,并基于 1573 个真实的 Claude Code 会话数据,给出了一些有趣的洞察。

数据集概况

这个数据集来自一个 6 人团队(4 名工程师、1 名数据/业务人员、1 名设计工程师)在过去 3 个月的真实使用记录:

  • 总会话数:1,573 个
  • 总 Token 数:1500 万+
  • 总交互数:27 万+
  • 会话类型:40% 大型遗留项目、50% 新项目、10% 非编码任务

核心发现

1. Skills 使用率极低:仅 4%

Claude Code 的 Skills 功能(预定义的指令模板)使用率只有 4%。这引发了一个问题:是功能设计有问题,还是用户根本不知道它的存在?

从 Hacker News 的讨论来看,可能两者都有:

  • Skills 的可发现性较差
  • 用户更倾向于自然语言提示
  • 即使设置了 Skills,Claude 也不一定会调用

好消息是,Claude 4.6 版本在这方面有明显改进。

2. 26% 的会话在 60 秒内被放弃

超过四分之一的会话在开始后的第一分钟内就被用户放弃。这个数字揭示了一个关键问题:初始提示与意图匹配的重要性

正如 HN 用户 robutsume 分析的:

"这不是代理的问题,而是提示与意图不匹配的问题。人类在一次交互后就意识到他们问错了问题,或者代理理解错了。"

3. 错误级联模式:前 2 分钟决定成败

研究发现,如果在会话的前 2 分钟出现工具选择错误或文件读取错误,后续放弃的概率会显著增加。这和基础设施监控的经验很相似——部署的前 90 秒几乎能决定一切。

4. 不同任务类型的成功率差异显著

  • 文档编写:成功率最高
  • 代码重构:成功率最低

这个发现符合直觉:文档任务边界清晰、验证简单;而重构涉及复杂的代码理解和依赖分析,更容易出错。

对 AI 搜索的启示

虽然这项研究聚焦于编程场景,但对 AI 搜索产品的设计也有参考价值:

1. 首因效应至关重要 用户在前 60 秒的体验决定了他们是否会继续使用。搜索产品需要在最短时间内给出高质量结果。

2. 错误恢复机制 当 AI 理解错误时,如何快速纠正比追求完美更重要。Rudel 的数据显示,错误级联一旦发生,用户很快就会失去耐心。

3. 功能发现性 即使有强大的功能(如 Skills),如果用户不知道或不会用,就等于不存在。AI 搜索产品需要更智能地引导用户使用高级功能。

4. 任务适配性 不同的搜索场景对 AI 的要求不同。简单的事实查询 vs 复杂的分析任务,需要不同的交互设计和预期管理。

Rudel 工具本身

这项研究的开源工具 Rudel 也值得关注。它通过 Claude Code 的 hooks 机制,在会话结束时自动上传数据,提供团队级的使用分析:

  • 个人和团队的会话统计
  • Token 使用趋势
  • 项目时间分配
  • 会话成功率分析

对于想要量化 AI 工具 ROI 的团队来说,这类分析工具很有价值。

社区反响

这个项目在 Hacker News 上获得了 85 个点赞和 50+ 评论。讨论焦点包括:

  • 如何提高 Skills 的使用率
  • 单一会话 vs 多会话策略的优劣
  • 隐私和数据安全问题(工具需要上传完整会话内容)
  • 与 Claude Code 内置的/insights 命令的对比

写在最后

AI 编程代理还处于早期阶段,我们对其使用模式的理解非常有限。Rudel 团队的数据虽然只来自一个小团队,但提供了宝贵的实证基础。

随着 AI Agent 的普及,相信会有更多类似的研究出现。而对于搜索技术从业者来说,理解用户如何与 AI 交互、在什么情况下会放弃,将是设计更好产品的关键。


你使用 Claude Code 或其他 AI 编程工具吗?你觉得最大的痛点是什么?


来源:Rudel GitHub / Hacker News 讨论 原文发布时间:2026 年 3 月 12 日 Hacker News 热度:85 points, 53 comments